Transcrição da Prova — Gabriel Duarte Campos Amorim
Matrícula: 20223007378 • Turma2 • Prova Escrita 1 (Modelo A)
Voltar ao Quadro Geral de Notas | Visualizar Laudo Oficial em HTML
Transcrição Fiel da Prova Escrita 1 — Modelo A
Discente: Gabriel Duarte Campos Amorim
Matrícula: 20223007378
Turma: turma2
Taxa de Legibilidade Estimada: 86%
Questão 1 — Triagem com dados heterogêneos (5,0 pontos)
Item 1.a — Figura 1 e Decisão de Produção (2,0 pontos)
“O comportamento das curvas de perda revela que o modelo está sofrendo com overfitting. A queda contínua da perda de treino não garante que o sistema está pronto porque a queda da validação parou de cair o que indica que o modelo está apenas decorando os resultados da fase de treino e os replicando ao invés de aprender com eles.”
Observações de Leitura (OCR): Grafite em tom cinza claro; letra cursiva legível descrevendo memorização vs. aprendizado.
Item 1.b — Representação e Retropropagação (2,0 pontos)
“As entradas heterogêneas devem ser representadas pelo uso de hiperparâmetros. A retropropagação é importante pois permite analisar e ajustar os pesos durante o período de treinamento, permitindo que o modelo consiga um melhor resultado.”
Observações de Leitura (OCR): Cursiva legível.
Item 1.c — Evidências de Confiança e Reprodutibilidade (1,0 ponto)
“Para confiar no modelo é necessário analisar dados independentes e também montar e analisar a matriz de confusão.”
Observações de Leitura (OCR): Cursiva clara.
Questão 2 — Inspeção visual em condições novas (5,0 pontos)
Item 2.a — Diagnóstico Experimental (2,0 pontos)
“No começo o modelo estaria passando pela fase de teste e validação e por isso houve muitas taxas de alerta. Podemos utilizar o AUC como métrica para distinguir as hipóteses de sobreajuste, mudança de distribuição e falha no processo de rotulação.”
Observações de Leitura (OCR): Texto a lápis claro.
Item 2.b — Arquitetura e Transferência de Aprendizado (2,0 pontos)
“A CNN é apropriada porque podemos pegar apenas uma parte dela para usar como modelo e guiar os testes. O restante da base ficaria congelado (com seu todo) e o modelo que está sendo treinado poderia ser ajustado conforme fosse necessário. Durante o ajuste poderia haver um aumento dos dados analisados no modelo para combater a escassez.”
Observações de Leitura (OCR): Resposta detalhada explicando congelamento e ajuste fino. Nome “Gabriel Duarte” anotado no cabeçalho superior da página 3.
Item 2.c — Cautela Amostral (1,0 ponto)
“Para evitar conclusões precipitadas poderíamos trocar ou remover as imagens. Se o modelo estivesse tendo melhorias e após essa alteração ele apresentasse uma queda no desempenho, então encontraríamos como resposta uma dependência entre as imagens e as melhorias aplicadas e isso nos afirma que os resultados encontrados estão válidos.”
Observações de Leitura (OCR): Cursiva legível.
Questão 3 — Alerta que muda decisões (5,0 pontos)
Item 3.a — Interpretação da Calibração e Crítica ao Limiar (2,0 pontos)
“A premissa de fixar esse limiar é falha porque o valor estabelecido não condiz com a realidade e por isso houve muitos alarmes inúteis. Estar mal calibrado é justamente isso, incluir valores que não agregam em nada o nosso modelo.”
Observações de Leitura (OCR): Argumentação cursiva nítida.
Item 3.b — Custos Assimétricos e Capacidade Operacional (2,0 pontos)
“FP, FN e teto da equipe precisam ser mensurados para determinar o limiar. Se grande parte da equipe não atender os FN porque estiveram ocupados com os FP é grave. É preciso haver pesos em cada uma dessas variáveis, pois a equipe atender FP é aceitável, mas negligenciar FN é gravíssimo.”
Observações de Leitura (OCR): Análise clara do custo assimétrico e da sobrecarga da equipe.
Item 3.c — Telemetria e Deriva de Conceito (1,0 ponto)
“Observar queda na curva de validação. Uma anomalia precisa ser tratada imediatamente e deve-se adicionar ao modelo o que foi aprendido com ela”
Observações de Leitura (OCR): Cursiva legível.
Questão 4 — Busca de conhecimento para atendimento (5,0 pontos)
Item 4.a — Representação Semântica e Limitações do Cosseno (2,0 pontos)
“Contextualizados são mais rápidos e usarão a palavra de contexto para prever a palavra central enquanto estáticos usam a palavra central para prever o contexto A limitação é que o cosseno vai medir o alinhamento vetorial dos documentos recuperados e não vai representar uma probabilidade de relevância do que foi procurado.”
Observações de Leitura (OCR): Contrapõe alinhamento vetorial versus probabilidade de relevância.
Item 4.b — Avaliação Rigorosa de Recuperação (1,5 pontos)
“É inadequado medir o sucesso apenas pela proporção de consultas com retorno porque não está sendo analisado as buscas que não retornaram nada e nem investigando se há padrão entre elas.”
Observações de Leitura (OCR): Nome anotado no topo da página 5.
Item 4.c — Busca Híbrida e Governança (1,5 pontos)
“Uma abordagem híbrida mesclaria a busca semântica com a busca léxica e essa combinação supera a busca vetorial pura por apresentar uma maior quantidade de fatores (exemplo: termos, identificadores) válidos, fazendo com que seja possível superar as limitações e encontrar um bom resultado.”
Observações de Leitura (OCR): Cursiva contínua.
Questão 5 — Assistente que pode não responder (5,0 pontos)
Item 5.a — Contestação do Maior Escore e Desenho da Abstenção (2,0 pontos)
“A proposta do gestor de fazer com que o sistema sempre mostre o documento de maior escore pois isso elimina a necessidade de regras adicionais é VÁLIDO porque consultas ambíguas, documentos conflitantes e mudanças frequentes nas normas são comuns fazendo com que as respostas automáticas sejam geradas com base nesses fatores.”
Observações de Leitura (OCR): Defende a proposta do gestor com justificativa cursiva.
Item 5.b — Conflito de Fontes e Validação Prévia (2,0 pontos)
“É possível tratar documentos com normas conflitantes através de embedding. Podemos validar a abstenção por meio da similaridade do cosseno.”
Observações de Leitura (OCR): Grafia cursiva legível.
Item 5.c — Telemetria e Impacto Operacional (1,0 ponto)
“Podemos utilizar um early stopping definindo uma paciência X para determinar se houve uma mudança na taxa de abstenção durante um período X de épocas e emita um sinal caso ocorra uma mudança. Esse sinal fornecerá aos engenheiros a informação de um uso até os dias atuais e quanto tempo o modelo fica sem alterações.”
Observações de Leitura (OCR): Propõe analogia com early stopping e paciência temporal.
Espaço de Rascunho / Cálculos Adicionais
[EM BRANCO]